Warning: mkdir(): No space left on device in /var/www/tg-me/post.php on line 37
Warning: file_put_contents(aCache/aDaily/post/ds_interview_lib/--): Failed to open stream: No such file or directory in /var/www/tg-me/post.php on line 50 Библиотека собеса по Data Science | вопросы с собеседований | Telegram Webview: ds_interview_lib/956 -
🤔 Какие практические соображения важны при выборе функции активации
Память, вычислительная эффективность, числовая устойчивость и простота реализации — всё это важные факторы.
Например, ReLU и её варианты являются простыми покомпонентными операциями, которые хорошо оптимизированы на современном оборудовании (GPU и TPU).
Функции типа сигмоида или tanh могут быть более затратными по вычислениям и подвержены переполнению или исчезающе малым значениям в условиях экстремальных входов.
Когда производительность критична, многие исследователи по умолчанию выбирают ReLU — она обеспечивает хороший баланс между точностью, вычислительной эффективностью и стабильностью.
Дополнительные соображения включают в себя: ➡️требуемый диапазон входов и выходов для последующих слоёв; ➡️вероятность возникновения исчезающих или взрывающихся градиентов; ➡️регуляризирующий эффект некоторых функций активации (например, SELU способствует самонормализации при определённых условиях).
🤔 Какие практические соображения важны при выборе функции активации
Память, вычислительная эффективность, числовая устойчивость и простота реализации — всё это важные факторы.
Например, ReLU и её варианты являются простыми покомпонентными операциями, которые хорошо оптимизированы на современном оборудовании (GPU и TPU).
Функции типа сигмоида или tanh могут быть более затратными по вычислениям и подвержены переполнению или исчезающе малым значениям в условиях экстремальных входов.
Когда производительность критична, многие исследователи по умолчанию выбирают ReLU — она обеспечивает хороший баланс между точностью, вычислительной эффективностью и стабильностью.
Дополнительные соображения включают в себя: ➡️требуемый диапазон входов и выходов для последующих слоёв; ➡️вероятность возникновения исчезающих или взрывающихся градиентов; ➡️регуляризирующий эффект некоторых функций активации (например, SELU способствует самонормализации при определённых условиях).
China’s stock markets are some of the largest in the world, with total market capitalization reaching RMB 79 trillion (US$12.2 trillion) in 2020. China’s stock markets are seen as a crucial tool for driving economic growth, in particular for financing the country’s rapidly growing high-tech sectors.Although traditionally closed off to overseas investors, China’s financial markets have gradually been loosening restrictions over the past couple of decades. At the same time, reforms have sought to make it easier for Chinese companies to list on onshore stock exchanges, and new programs have been launched in attempts to lure some of China’s most coveted overseas-listed companies back to the country.
Launched in 2013, Telegram allows users to broadcast messages to a following via “channels”, or create public and private groups that are simple for others to access. Users can also send and receive large data files, including text and zip files, directly via the app.The platform said it has more than 500m active users, and topped 1bn downloads in August, according to data from SensorTower.Библиотека собеса по Data Science | вопросы с собеседований from sg